灵活性|金子_湖仓一体数据平台架构

篇首语：本文由编程笔记#小编为大家整理，主要介绍了湖仓一体数据平台架构相关的知识，希望对你有一定的参考价值。

随着数字化技术的更新迭代&＃xff0c;数据库、数据仓库、数据湖等各种概念层出不穷&＃xff0c;MPP数据库、Hadoop、对象存储、Hudi等各种数据技术不断涌现&＃xff0c;湖仓一体概念逐步被人们所关注&＃xff0c;在国际知名机构Gartner发布的《Hype Cycle for Data Management 2021》中&＃xff0c;湖仓一体被正式纳入到技术成熟度曲线中。最近有很多朋友都在讲湖仓一体架构&＃xff0c;那究竟什么是湖仓一体&＃xff1f;本期金子就和大家聊聊湖仓一体的数据平台架构&＃xff01;

01 数据湖与数据仓库

数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据存储系统&＃xff0c;它主要存储的是结构化数据&＃xff0c;历史数据通过抽取、转换、整合以及清理&＃xff0c;并导入到目标表中&＃xff0c;主要用于业务决策分析。

随着当前大量信息化发展和电子设备产品普及&＃xff0c;产生大量的照片、视频、文档等非结构化数据&＃xff0c;人们也想通过大数据技术找到这些数据的关系&＃xff0c;所以设计了一个比数据仓库还要大的系统&＃xff0c;可以把非结构化和结构化数据共同存储和做一些处理&＃xff0c;这个系统叫做数据湖。

数据湖是一个以原始格式存储数据的存储库或系统&＃xff0c;它按原样存储数据&＃xff0c;而无需事先对数据进行结构化处理&＃xff0c;可以存储结构化数据&＃xff08;如关系型数据库中的表&＃xff09;&＃xff0c;半结构化数据&＃xff08;如CSV、日志、XML、JSON&＃xff09;&＃xff0c;非结构化数据&＃xff08;如电子邮件、文档、PDF&＃xff09;和二进制数据&＃xff08;如图片、音频、视频&＃xff09;&＃xff0c;以供机器学习、深度学习、统计分析等多种形式数据分析应用。

数据湖开放的数据存储结构给数据入湖带来了更大的灵活性&＃xff0c;各种结构化、半结构化、非结构化的原始数据可以直接入湖。另外&＃xff0c;开放存储给上层的计算引擎也带来了更多的灵活度&＃xff0c;各种计算引擎需要遵循相当宽松的兼容性约定即可根据自己针对的场景随意读写数据湖中的数据。而数据仓库则更关注数据使用效率、数据的安全性和数据治理能力&＃xff0c;这对企业的长远的成长性发展至关重要。

02 湖仓一体概念

湖仓一体是一种新型开放式架构&＃xff0c;将数据湖和数据仓库的优势充分结合&＃xff0c;它构建在数据湖低成本的数据存储架构之上&＃xff0c;又继承了数据仓库的数据处理和管理功能。湖仓一体打通数据湖和数据仓库两套体系&＃xff0c;让数据和计算在湖和仓之间自由流动&＃xff0c;更能发挥出数据湖的灵活性&＃xff0c;以及数据数据仓库的成长性。

但是湖仓一体≠数据湖&＃43;数据仓库&＃xff0c;湖仓一体不等同于数据湖和数据仓简单打通&＃xff0c;湖仓一体的构建需要解决以下三个关键问题&＃xff1a;

1. 湖和仓的数据/元数据在不需要用户人工干预的情况下&＃xff0c;可以无缝打通、自由顺畅地流动&＃xff1b;

2. 系统根据特定的规则自动地将数据在湖仓之间进行缓存和移动&＃xff0c;根据规则自动决定哪些数据放在数仓&＃xff0c;哪些保留在数据湖&＃xff0c;进而形成一体化&＃xff1b;

3. 湖和仓有统一的开发体验&＃xff0c;存储在不同系统的数据&＃xff0c;可以通过一个统一的开发/管理平台操作。

03 湖仓一体平台架构

基于开源生态的主流湖仓一体解决方案采用存储计算分离的架构&＃xff0c;对象存储&＃xff08;OSS/S3/MinIO等&＃xff09;和Hadoop HDFS提供支持Apache hudi、Apache Iceberg等数据湖的数据存储机制&＃xff0c;并通过Flink、Spark、Trino&＃xff08;原Presto&＃xff09;三个不同引擎进行相关数据处理和交互式查询&＃xff0c;对外提供不同类型的服务。湖仓一体具体平台架构如下&＃xff1a;

数据存储

数据存储支持OSS/S3/MinIO等对象存储和Hadoop HDFS&＃xff0c;对象存储存储非结构化、原始数据、冷数据&＃xff0c;提供高性价比&＃xff0c;HDFS存储结构化数据&＃xff0c;提供高性能存储。

使用Hudi/Iceberg作为数据存储中间层&＃xff0c;能够基于HDFS、对象存储等底层存储&＃xff0c;支持ACID语义、实现快速更新能力。

通过Alluxio进行数据缓存&＃xff0c;加速Spark、Flink、Trino&＃xff08;原Presto&＃xff09;等计算引擎对数据湖的读写。

计算引擎

计算支持多引擎&＃xff0c;Spark、Trino、Flink等均实现serverless化&＃xff0c;跑在Kubernetes中&＃xff0c;即开即用&＃xff0c;满足不同查询场景&＃xff0c;并通过Yarn进行统一资源访问/调度。

智能元数据

基于特定的规则&＃xff0c;智能识别结构化、半结构化文件的元数据&＃xff0c;构建数据目录&＃xff0c;并转化成内置存储中的一个Hive表&＃xff0c;统一进行元数据管理&＃xff0c;提供类HiveMeta API针对不同计算引擎访问底层数据。

统一编程模型

Apache Beam作为统一的编程模型&＃xff0c;提供统一的IDE&＃xff0c;统一流和批&＃xff0c;抽象出统一的API接口&＃xff0c;并且生成的数据处理任务应该能够在各个计算引擎上执行&＃xff0c;使得用户可以自由切换数据处理任务的执行引擎与执行环境。

金子说数据

聊聊数据技术&＃xff0c;谈谈数据业务

8篇原创内容

公众号